Pilkington sinh ra tại nhà ga Balfour Downs, gần khu định cư Jigalong, phía bắc bang Tây Úc.[1] Mẹ của bà, Molly, đã đặt tên bà là Nugi Garimara, và tên thường gọi là Doris, theo ý bà chủ ở nhà ga nơi Molly làm việc, Mary Dunnet, người cho Nugi là "một cái tên ngu ngốc". Vì bà không được đăng ký khai sinh nên ngày sinh của bà được công nhận là 1 tháng 7 năm 1937 bởi Văn phòng Vụ Thổ dân.[2] Bà bị tách khỏi sự chăm sóc của mẹ mình và đưa đến trại sông Moore khi mới ba tuổi rưỡi.[1] Em gái bà, Annabelle, cũng bị mang đi khi mới 3 tuổi, và từ khi bị bắt đi đến nay đã không nhận lại cả Molly Craig và Pilkington.[3]